![arXiv:2207.03088v1 [cs.LG] 2022 年 7 月 7 日](/simg/6/6aed2ae97f3828187168ca2934089f3e02d8e419.webp)
机构名称：
¥ 1.0
摘要 目前神经网络模型的量化方法主要分为训练后量化（PTQ）和量化感知训练（QAT）。训练后量化只需要一小部分数据即可完成量化过程，但是其量化模型的性能不如量化感知训练。本文提出一种新的量化方法Attention Round，该方法让参数w有机会在量化过程中被映射到所有可能的量化值上，而不仅仅是w附近的两个量化值，且被映射到不同量化值的概率与量化值与w的距离负相关，并以高斯函数衰减。此外，本文以有损编码长度为度量为模型不同层分配位宽来解决混合精度量化问题，有效避免了求解组合优化问题。本文还对不同的模型进行了定量实验，结果证实了所提方法的有效性。对于ResNet18和MobileNetV2，本文提出的训练后量化仅需要1,024个训练数据和10分钟即可完成量化过程，可以达到与量化感知训练相当的量化性能。
arXiv:2207.03088v1 [cs.LG] 2022 年 7 月 7 日
主要关键词
![arXiv:2207.03088v1 [cs.LG] 2022 年 7 月 7 日PDF文件第1页](/bimg/6/6689e4dcc0e980086d8b2fa95ef3f5c4be747509.webp)
![arXiv:2207.03088v1 [cs.LG] 2022 年 7 月 7 日PDF文件第2页](/bimg/6/6f07b7b12af9b0aaa49462c1b3186e5c4ac72e05.webp)
![arXiv:2207.03088v1 [cs.LG] 2022 年 7 月 7 日PDF文件第3页](/bimg/b/bc84114984c818966e32625349fb4f5744ec0202.webp)
![arXiv:2207.03088v1 [cs.LG] 2022 年 7 月 7 日PDF文件第4页](/bimg/f/f4fadb3fd7dcbecab032457d14946e21e0bf0743.webp)
![arXiv:2207.03088v1 [cs.LG] 2022 年 7 月 7 日PDF文件第5页](/bimg/2/2c8fcf73f97f0a7128b99654eba6b41962e35f25.webp)
相关文件推荐
![arXiv : 2207 .04262v1 [ q - bio . NC ] 2022 年 7 月 9 日](/simg/1/12acb26c49d7fa304a93efc7ea3f69e3f18c5371.webp)
![arXiv:2207.01360v1 [quant-ph] 2022 年 7 月 4 日](/simg/1/18c036a56efe585b77730a87b187d71b9866fa78.webp)
![arXiv:2207.02350v1 [quant-ph] 2022 年 7 月 5 日](/simg/2/20b50c617ac610bd5668964f9d79a6e7ae2bb99c.webp)
![arXiv:2207.05643v1 [cs.RO] 2022 年 7 月 12 日](/simg/9/914a0980453c8245d7338c340cfcc7abaab03a7a.webp)
![arXiv:2207.09272v1 [quant-ph] 2022 年 7 月 19 日](/simg/1/16313b8bb3429bb9f3c4a48c5512d6d454f255a5.webp)
![arXiv:2208.00465v1 [cs.LG] 2022 年 7 月 31 日](/simg/c/cebc2f8776316fb471760e7bf6e67938ef4f655a.webp)
![arXiv:2207.00298v2 [quant-ph] 2022 年 7 月 6 日](/simg/f/fe36ffafa4c5adf86ad2920404eab92d43d7abe3.webp)
![arXiv:2207.06781v1 [astro-ph.IM] 2022 年 7 月 14 日](/simg/3/33f89e8f23bbb04a4826aeebddaac438eeff69cf.webp)
![arXiv:2207.10770v1 [quant-ph] 2022 年 7 月 21 日](/simg/6/6ab36c79c785bee67ff787c84b500730a8291ac0.webp)
![arXiv:2207.04927v1 [nucl-th] 2022 年 7 月 11 日](/simg/d/db85e168f51109c25f1b0c4684f4164fef6f2197.webp)
![arXiv:2207.08591v1 [cs.CV] 2022 年 7 月 18 日](/simg/e/e78b97f9e2142aae499def8d74af9305da87f046.webp)
![arXiv:2207.06473v1 [cs.SE] 2022 年 7 月 13 日](/simg/e/efffe05335df607d2fa296c88b37941e2988d766.webp)
![arXiv:2207.04717v1 [physics.soc-ph] 2022 年 7 月 11 日](/simg/8/8aab87d5893bacdc2ad47d1bffc84740a9acc9e3.webp)
![arXiv:2207.13175v1 [physics.comp-ph] 2022 年 7 月 23 日](/simg/b/bd2117ec78ec88690daa91a194973bdc3d7cd1ea.webp)
![arXiv:2207.11913v2 [physics.app-ph] 2022 年 9 月 22 日](/simg/8/80b88ce3d09b91dce45e94d7eaaca1da899de7a4.webp)
![arXiv:2209.03929v1 [cs.AI] 2022 年 9 月 8 日](/simg/6/672d2fccbb7f9f52b3d9ec2bc1af4cb846806851.png)
![arXiv:2112.12754v2 [cs.AI] 2022 年 2 月 6 日](/simg/2/2ae1c7ced0b6cb3a6dbfb3b7bdbff743ba4ccf33.png)
![arXiv:2201.02950v1 [cs.AI] 2022 年 1 月 9 日](/simg/7/7950d74bd5d43cfd47f19f081b684a20edfbc27a.png)
![arXiv:2208.02886v1 [cs.AI] 2022 年 8 月 4 日](/simg/1/1c9e25aca4e4de77bf16485751b3063f311615e9.png)
![arXiv:2205.12749v2 [cs.AI] 2022 年 7 月 1 日](/simg/2/2065ed9bc53d9d49461c4886d3dbb8f82d668f71.png)
![arXiv:2201.09508v2 [q-bio.QM] 2022 年 8 月 9 日](/simg/b/b192213e1dcdb06b52f1fb0928ecbcd6ca74dfe1.webp)
![arXiv:2210.00833v1 [cs.AR] 2022 年 10 月 3 日](/simg/b/b0d0b4c957de5d7ae82dc577c10f5b166450d54b.webp)
![arXiv:2112.09345v2 [quant-ph] 2022 年 9 月 1 日](/simg/0/046feac603a75ed93e70e5239b6c9f60b4e0e313.webp)
![arXiv:2008.02961v1 [cs.LG] 2020 年 8 月 7 日](/simg/b/bc53b3eb7e6bbf3aa8bc375edc753c582e872e41.webp)
![arXiv:2110.06553v2 [cs.RO] 2022 年 9 月 23 日](/simg/5/5cd0f30ce7869e8d45f911842b46a71f12d9c925.webp)
![arXiv:2209.03177v1 [eess.IV] 2022 年 9 月 7 日](/simg/f/fa3ee8171c3333978c39d246479d5573a87f0728.webp)
![arXiv:2404.04001v1 [cs.LG] 2024 年 4 月 5 日](/simg/0/03b3203a82e098ca10b96a27f36a70cbd9ff1d21.webp)
![arXiv:2206.00474v1 [cs.AI] 2022 年 6 月 1 日](/simg/3/332cb6cfff481bb8ac1b12870475df1e5b816494.png)
![arXiv:2311.03764v4 [cs.LG] 2024 年 3 月 2 日](/simg/6/65d1deaefd3b0ae77e262828e98179c63a5a5134.png)
![arXiv:2403.00669v1 [cs.LG] 2024 年 3 月 1 日](/simg/6/6d2cba03da31fad9740548417433eee9d023508e.png)